Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
薛定谔的代码仓库：LLM 是学会还是背下了 SWE-bench？
🧭 LLM 评估 · 防泄漏动态实例化
Shanghai Jiao Tong University · Xi'an Jiaotong University · East China Normal University · Shanghai Innovation Institute
提出动态实例化仓库的评估框架，通过四种变换擦除熟悉线索，证明 LLM 编码智能体部分依赖记忆表面特征
📌 工作参考价值（4 点）
- 构建 Agent 或模型评测集时，对公开数据做表面扰动（重命名变量/函数、重排文件布局、语义等价改写）可暴露模型对表面特征的记忆，适用于 RAG 检索评测、商品知识问答或推荐 Agent 场景。
- 若模型在扰动后性能显著下降且交互轮次增加，说明其依赖记忆而非泛化检索；线上 Agent 遇到陌生仓库/商品目录结构时应关注探索成本，可引入定位模块或结构化索引减少无谓搜索。
- 四个变换层级可作为数据增强手段，训练模型对命名和布局不敏感，提升 Agent 在未见数据上的鲁棒性。
- 保留可执行行为同时擦除命名与布局思路，可用于生成语义等价的防泄漏测试集，避免线上评测被事先见过的文档或代码污染。